Text copied to clipboard!
Pealkiri
Text copied to clipboard!Hadoop Arendaja
Kirjeldus
Text copied to clipboard!
Otsime kogenud Hadoop Arendajat, kes liituks meie andmeanalüüsi ja suurandmete meeskonnaga. Selles rollis vastutate Hadoopi ökosüsteemi komponentide arendamise, juurutamise ja hooldamise eest, et toetada meie organisatsiooni andmetöötlusvajadusi. Ideaalne kandidaat on tehniliselt tugev, omab kogemust suurandmete arhitektuuride ja tööriistadega ning suudab töötada iseseisvalt ja meeskonnas.
Teie peamisteks ülesanneteks on Hadoopi klastrite seadistamine ja optimeerimine, andmetöötlusprotsesside arendamine MapReduce, Hive, Pig või Spark abil ning andmevoogude integreerimine erinevatest allikatest. Samuti osalete süsteemi jõudluse jälgimises ja tõrkeotsingus, et tagada andmeplatvormi töökindlus ja efektiivsus.
Töötate tihedas koostöös andmeinseneride, analüütikute ja teiste arendajatega, et pakkuda skaleeritavaid ja usaldusväärseid lahendusi. Ootame, et teil on tugev arusaam andmestruktuuridest, algoritmidest ja hajussüsteemidest ning oskus kirjutada puhast ja hooldatavat koodi.
Eeldame, et teil on vähemalt 3-aastane kogemus Hadoopi arenduses ning olete tuttav selliste tööriistade ja tehnoloogiatega nagu HDFS, YARN, Hive, HBase, Oozie ja Flume. Kasuks tuleb kogemus pilvepõhiste lahendustega (nt AWS EMR, Google Cloud Dataproc) ning teadmised DevOps praktikast.
Kui olete kirglik suurandmete ja andmeplatvormide arendamise vastu ning soovite töötada innovaatilises ja kiiresti arenevas keskkonnas, siis ootame teie kandideerimist!
Kohustused
Text copied to clipboard!- Hadoopi klastrite seadistamine ja haldamine
- MapReduce, Hive, Pig või Spark töövoogude arendamine
- Andmevoogude integreerimine erinevatest allikatest
- Süsteemi jõudluse jälgimine ja optimeerimine
- Tõrkeotsing ja probleemide lahendamine Hadoopi ökosüsteemis
- Koostöö andmeinseneride ja analüütikutega
- Andmeplatvormi turvalisuse ja töökindluse tagamine
- Automatiseeritud töövoogude loomine Oozie või Airflow abil
- Dokumentatsiooni koostamine ja tehniliste standardite järgimine
- Uute tehnoloogiate ja tööriistade hindamine ja juurutamine
Nõuded
Text copied to clipboard!- Vähemalt 3-aastane kogemus Hadoopi arenduses
- Tugev arusaam hajussüsteemidest ja andmetöötlusest
- Kogemus tööriistadega nagu HDFS, Hive, HBase, Spark
- Oskus kirjutada koodi Java, Scala või Python keeles
- Tuttavus andmevoogude tööriistadega nagu Flume või Kafka
- Kogemus töövoogude haldamise tööriistadega (nt Oozie, Airflow)
- Hea probleemilahendusoskus ja süsteemne mõtlemine
- Töökogemus Linuxi keskkonnas
- Tuttavus pilveplatvormidega (AWS, GCP, Azure)
- Hea suhtlemisoskus ja meeskonnatöö võimekus
Võimalikud intervjuu küsimused
Text copied to clipboard!- Milline on teie kogemus Hadoopi ökosüsteemi tööriistadega?
- Kas olete töötanud Spark või Hive'iga? Palun kirjeldage.
- Kuidas olete lahendanud jõudlusprobleeme Hadoopi klastris?
- Milliseid andmevoogude tööriistu olete kasutanud?
- Kas teil on kogemust pilvepõhiste Hadoopi lahendustega?
- Kuidas tagate andmeplatvormi töökindluse ja turvalisuse?
- Milliseid programmeerimiskeeli valdate?
- Kas olete töötanud DevOps tööriistadega?
- Kuidas lähenete andmetöötlusprotsesside optimeerimisele?
- Milline on teie kogemus meeskonnatöös ja koostöös analüütikutega?
